Cao Giai thị nguyên là Cao thị, sinh khoảng cuối năm Khang Hi[1], xuất thân tầng lớp Bao y, thuộc Tương Hoàng kỳ, thế cư Liêu Dương. Thủy tổ Cao Danh Tuyển (高名選), cũng là Cao tổ phụ của bà, sau khi nhập kì thì ông không làm quan, con trai Cao Đăng Long (高登庸) nhậm đến ngôn quan. Con của Đăng Long là Cao Diễn Trung (高衍中) làm đến Lang trung kiêm Tham lĩnh. Lúc này Cao gia tuy không thể xưng là có gia thế gì lớn, nhưng so với gia đình bình thường cũng là có mặt mũi. Cao Diễn Trung sinh con trưởng Cao Thuật Minh (高述明), con thứ ba Cao Ngọc (高鈺) đều làm Tổng binh.

Cha của Tuệ Hiền Hoàng quý phi là Đại học sĩ Cao Bân (高斌), con trai thứ hai của Diễn Trung, ở triều Ung Chính làm đến Tổng đốc Hà Đạo. Sang triều Càn Long thăng làm Đại học sĩ. Cao Bân có 3 vị chính thê, thứ nhất là Trần thị, thứ hai là Kỳ thị và thứ ba là Mã thị, đều xuất thân con nhà quan viên Nội vụ phủ. Mã thị sinh ba con gái một con trai, Cao thị là con gái trưởng (hoặc là con thứ, do trưởng tỷ mất sớm), em gái bà được gả cho Ngạc Thật (鄂實), con trai Ngạc Nhĩ Thái. Em trai bà Cao Hằng (高恆), cũng là xuất sĩ cao quan.

Xuất thân từ Thượng tam kỳ Bao y, nên gia đình của bà chịu sự quản lý của Nội vụ phủ, gọi là Nội vụ phủ Bao y. Do gia đình của họ Cao nhiều thế hệ làm quan cao, nên hôn nhân trong gia tộc cũng được chăm chút, hai cô mẫu của Cao thị đều được gả cho quan viên cao cấp trong Nội vụ phủ. Đến thời con gái của Cao Bân là Cao thị, phạm vi hôn nhân không còn trong khu vực Nội vụ phủ nữa, ví dụ chính là việc em gái bà kết hôn với Ngạc Thật. Vào thời Ung Chính, Ung Chính Đế cho tuyển Cao thị nhập cung hầu hạ Bảo Thân vương Hoằng Lịch, danh phận ["Sử nữ"; 使女], nghĩa là hầu gái, đồng dạng với Cách cách.

Năm Ung Chính thứ 12 (1734), Cao thị được đích thân Ung Chính Đế ra chỉ tấn thăng làm Trắc Phúc tấn, địa vị chỉ dưới duy nhất Đích Phúc tấn Phú Sát thị và đồng vị với Trắc Phúc tấn Na Lạp thị. Tham khảo cung đình quy chế triều Thanh, được vị trí Trắc Phúc tấn một là chỉ định trực tiếp từ Bát Kỳ tuyển tú, hoặc là hầu thiếp sinh dục con cái mà được phong. Tuy nhiên, Cao thị dù không sinh dục con cái, vẫn có thể trở thành Trắc Phúc tấn. Xét vào thời gian bà được sách phong (tức là năm Ung Chính thứ 12), lúc ấy là khi cha bà Cao Bân được triều đình trọng dụng, nên vị trí Trắc Phúc tấn này của bà có khả năng như một "phần thưởng" vậy. Cao thị từ khi được định vào hầu Hoằng Lịch, hẳn là do Ung Chính Đế đã có ý ban cho danh vị Trắc Phúc tấn, nhưng do xuất thân Bao y mà không thể trực tiếp chỉ định trong Bát Kỳ tuyển tú mà thôi.